Python Prediktív Analitika: Mélymerülés az Idősoros Előrejelzésbe

Adatok által vezérelt világunkban a jövő előrejelzésének képessége már nem egy misztikus művészet, hanem egy kritikus üzleti funkció. A globális kiskereskedelmi láncban történő értékesítés előrejelzésétől kezdve az okos város energiafogyasztásának előrejelzéséig a jövőbeli trendek előrejelzése kulcsfontosságú versenyelőny. Ennek a prediktív erőnek a középpontjában az idősoros előrejelzés áll, a modern adattudósok által választott eszköz pedig a Python.

Ez az átfogó útmutató végigvezeti Önt az idősoros előrejelzés világán Python használatával. Kezdjük az alapokkal, feltárjuk a klasszikus statisztikai modelleket, elmélyedünk a modern gépi tanulási és mélytanulási technikákban, és felvértezzük Önt azzal a tudással, hogy robusztus előrejelző modelleket építsen, értékeljen és telepítsen. Akár adatelemző, gépi tanulási mérnök vagy üzleti vezető, ez a cikk gyakorlati ütemtervet ad a múltbeli adatok felhasználható jövőbeli meglátásokká alakításához.

Az idősoros adatok alapjainak megértése

Mielőtt modelleket építhetnénk, először meg kell értenünk adataink egyedi természetét. Az idősor olyan adatok sorozata, amelyeket egymást követő, egyenlő időközönként gyűjtenek. Ez az időbeli függőség az, ami egyszerre teszi kihívássá és lenyűgözővé a vele való munkát.

Mitől különleges az idősoros adat?

Az idősoros adatok jellemzően négy fő összetevőre bonthatók:

• Trend: Az adatok mögöttes hosszú távú iránya. Általánosságban növekszik, csökken vagy állandó marad az idő múlásával? Például az okostelefonok globális elterjedése több mint egy évtizede folyamatosan emelkedő tendenciát mutat.
• Szezonalitás: Előrejelezhető, ismétlődő minták vagy ingadozások, amelyek rögzített időközönként fordulnak elő. Gondoljon arra, hogy a kiskereskedelmi forgalom minden évben a karácsonyi szezonban tetőzik, vagy a webhely forgalma a hétköznapokon növekszik.
• Ciklikusság: Nem rögzített időtartamú minták, amelyek gyakran szélesebb gazdasági vagy üzleti ciklusokhoz kapcsolódnak. Ezek a ciklusok hosszabbak és változékonyabbak, mint a szezonális minták. A fellendülés és a visszaesés több évet átívelő üzleti ciklusa klasszikus példa.
• Szabálytalanság (vagy zaj): Az adatok véletlenszerű, kiszámíthatatlan összetevője, amely a trend, a szezonalitás és a ciklusok figyelembevétele után megmarad. A rendszerben rejlő véletlenszerűséget képviseli.

A stacionaritás fontossága

A klasszikus idősoros elemzés egyik legfontosabb fogalma a stacionaritás. Egy idősort stacionáriusnak tekintünk, ha statisztikai tulajdonságai – különösen az átlag, a variancia és az autokorreláció – idővel állandóak. Egyszerűen fogalmazva, a stacionárius sorozat olyan, amelynek viselkedése nem változik az idő múlásával.

Miért olyan fontos ez? Sok hagyományos előrejelző modell, mint például az ARIMA, azon a feltételezésen alapul, hogy az idősor stacionárius. Úgy tervezték őket, hogy egy statisztikai értelemben stabil folyamatot modellezzenek. Ha egy sorozat nem stacionárius (pl. egyértelmű trendje van), a modell pontossági előrejelzési képessége súlyosan sérül.

Szerencsére gyakran átalakíthatunk egy nem stacionárius sorozatot stacionáriussá olyan technikákkal, mint a differenciálás (az előző megfigyelés kivonása az aktuálisból) vagy a logaritmikus vagy négyzetgyökös transzformációk alkalmazása.

A Python-környezet beállítása az előrejelzéshez

A Python ereje a nyílt forráskódú könyvtárak hatalmas ökoszisztémájából fakad. Az idősoros előrejelzéshez néhány feltétlenül szükséges.

Szükséges könyvtárak

• pandas: A sarokkő az adatok manipulálásához és elemzéséhez Pythonban. Erőteljes DataFrame objektuma és speciális idősoros funkciói nélkülözhetetlenek.
• NumPy: A tudományos számítások alapcsomagja, amely támogatást nyújt a nagy, többdimenziós tömbökhöz és mátrixokhoz.
• Matplotlib & Seaborn: A legnépszerűbb könyvtárak az adatok vizualizációjához. Az idősorok ábrázolása az első lépés a minták megértésében.
• statsmodels: Egy erőmű a statisztikai modellezéshez. Osztályokat és függvényeket biztosít számos különböző statisztikai modell becsléséhez, beleértve a klasszikus idősoros modelleket, mint például az ARIMA és a SARIMA.
• scikit-learn: A legnépszerűbb könyvtár az általános célú gépi tanuláshoz. Adatok előfeldolgozásához, funkciók tervezéséhez és ML modellek előrejelzési problémákra való alkalmazásához használjuk.
• Prophet: A Meta (korábban Facebook) által kifejlesztett könyvtár célja, hogy a nagyméretű előrejelzést egyszerűvé és elérhetővé tegye, különösen az erős szezonális hatásokkal rendelkező üzleti idősorok esetében.
• TensorFlow & Keras / PyTorch: Ezek mélytanulási keretrendszerek, amelyek olyan kifinomult modellek építésére szolgálnak, mint az LSTM-ek, amelyek képesek rögzíteni a szekvenciális adatokban található rendkívül összetett, nemlineáris mintákat.

Az adatok betöltése és előkészítése

Az adatok előkészítése kritikus első lépés. A legtöbb idősoros adat olyan formátumokban érkezik, mint a CSV- vagy Excel-fájlok. A pandas segítségével betölthetjük ezeket az adatokat, és beállíthatjuk az elemzéshez. A legfontosabb lépés annak biztosítása, hogy az adatok megfelelő DatetimeIndex-szel rendelkezzenek.

            
import pandas as pd

# Load the dataset
# Assume 'data.csv' has two columns: 'Date' and 'Sales'
df = pd.read_csv('data.csv')

# Convert the 'Date' column to a datetime object
df['Date'] = pd.to_datetime(df['Date'])

# Set the 'Date' column as the index
df.set_index('Date', inplace=True)

# Now our DataFrame is indexed by time, which is ideal for forecasting
print(df.head())

            

              
                Copy
              
            
          

Gyakorlati útmutató: Az adatoktól az előrejelzésig

Nézzük át egy tipikus munkafolyamatot egy idősoros előrejelzési projekthez, egy hipotetikus globális értékesítési adatkészlet segítségével.

1. lépés: Feltáró adatelemzés (EDA)

Soha ne kezdjen modellezni anélkül, hogy először megnézné az adatait. A vizualizáció kulcsfontosságú.

Az idősor vizualizálása: Egy egyszerű vonaldiagram feltárhatja a trendeket, a szezonalitást és a szokatlan eseményeket.

            
import matplotlib.pyplot as plt

df['Sales'].plot(figsize=(12, 6), title='Global Sales Over Time')
plt.show()

            

              
                Copy
              
            
          

A sorozat felbontása: Az összetevők tisztább megtekintéséhez a `statsmodels` segítségével felbonthatjuk a sorozatot a trend-, szezonális és maradék részeire.

            
from statsmodels.tsa.seasonal import seasonal_decompose

result = seasonal_decompose(df['Sales'], model='additive', period=12) # Assuming monthly data with yearly seasonality
result.plot()
plt.show()

            

              
                Copy
              
            
          

A stacionaritás ellenőrzése: A stacionaritás gyakori statisztikai tesztje a kibővített Dickey-Fuller (ADF) teszt. A nullhipotézis az, hogy a sorozat nem stacionárius. Ha a teszt p-értéke kisebb, mint egy szignifikanciaszint (pl. 0,05), elutasíthatjuk a nullhipotézist, és arra a következtetésre juthatunk, hogy a sorozat stacionárius.

2. lépés: Klasszikus előrejelző modellek

A klasszikus statisztikai modellek évtizedek óta az idősoros előrejelzés alapját képezik, és még mindig hihetetlenül erősek és értelmezhetők.

ARIMA: Az idősoros előrejelzés igáslova

Az ARIMA a Autoregresszív Integrált Mozgó Átlag rövidítése. Ez egy sokoldalú modell, amely három összetevőt kombinál:

• AR (Autoregresszív): Egy regressziós modell, amely egy megfigyelés és a késleltetett megfigyelések (p) közötti függő kapcsolatot használja.
• I (Integrált): A nyers megfigyelések differenciálásának (d) használata az idősor stacionáriussá tételéhez.
• MA (Mozgó Átlag): Egy modell, amely a megfigyelés és a mozgóátlag modellből származó reziduális hiba közötti függőséget használja a késleltetett megfigyelésekre alkalmazva (q).

A modellt ARIMA(p, d, q) jelöli. Ezen paraméterek optimális értékeinek megtalálása a modellezési folyamat kulcsfontosságú része.

            
from statsmodels.tsa.arima.model import ARIMA

# Assume data is split into train and test sets
# model = ARIMA(train_data['Sales'], order=(5, 1, 0))
# model_fit = model.fit()

# Get forecast
# forecast = model_fit.forecast(steps=len(test_data))

            

              
                Copy
              
            
          

SARIMA: A szezonalitás finomságokkal való kezelése

A SARIMA (Szezonális ARIMA) az ARIMA kiterjesztése, amely kifejezetten támogatja a szezonális összetevővel rendelkező idősoros adatokat. Egy másik paraméterkészletet (P, D, Q, m) ad hozzá a szezonális minták figyelembe vételéhez.

            
from statsmodels.tsa.statespace.sarimax import SARIMAX

# model = SARIMAX(train_data['Sales'], order=(1, 1, 1), seasonal_order=(1, 1, 1, 12))
# model_fit = model.fit()

            

              
                Copy
              
            
          

3. lépés: Gépi tanulási megközelítések

Az idősoros problémát felügyelt tanulási problémaként is keretezhetjük. Ez lehetővé teszi, hogy hatékony gépi tanulási algoritmusokat használjunk, mint például a Gradient Boosting.

Funkciók tervezése idősorokhoz

Az ML modellek használatához funkciókat kell létrehoznunk az időindexelt adatainkból. Ez magában foglalhatja:

• Időalapú funkciók: Év, hónap, hét napja, negyedév, év hete.
• Késleltetési funkciók: A sorozat értéke a korábbi időpontokban (pl. az előző havi eladások).
• Gördülő ablak funkciók: Statisztikák, mint például a gördülő átlag vagy a gördülő szórás egy adott időablakon belül.

Olyan modellek használata, mint az XGBoost vagy a LightGBM

Ha van egy funkciókészletünk, betaníthatunk egy regressziós modellt, például az XGBoost-ot a célváltozó előrejelzésére. A cél az az érték, amelyet előre szeretnénk jelezni (pl. `Sales`), a funkciók pedig a megtervezett időalapú és késleltetési funkciók.

4. lépés: Mélytanulás komplex mintákhoz

Nagyon összetett, nemlineáris mintákkal rendelkező idősorok esetén a mélytanulási modellek kiváló teljesítményt nyújthatnak.

LSTM hálózatok: A múlt emlékezése

A Long Short-Term Memory (LSTM) hálózatok egyfajta Recurrent Neural Network (RNN), amelyet kifejezetten a hosszú távú függőségek megtanulására terveztek. Tökéletesek az olyan szekvenciális adatokhoz, mint az idősorok, mert van egy belső "memóriájuk", amely képes megőrizni az információkat a korábbi időpontokból, hogy tájékoztassák a jövőbeli előrejelzéseket.

Egy LSTM modell felépítése a következőket foglalja magában:

1. Az adatok skálázása (a neurális hálózatok jobban teljesítenek skálázott adatokkal, pl. 0 és 1 között).
2. Az adatok átrendezése rögzített hosszúságú szekvenciákká (pl. használja az utolsó 60 nap adatait a következő nap előrejelzéséhez).
3. Az LSTM architektúra felépítése egy könyvtár, például a Keras vagy a PyTorch segítségével.
4. A modell betanítása a betanítási adatokon, és felhasználása a jövőbeli értékek előrejelzésére.

Az előrejelzés értékelése: Mennyire jók az előrejelzései?

Egy modell haszontalan, ha nem tudja, milyen jól teljesít. Az értékelés kritikus lépés.

Kulcsfontosságú teljesítménymutatók

Az előrejelzések pontosságának értékelésére használt gyakori mérőszámok a következők:

• Átlagos abszolút hiba (MAE): A becsült és a tényleges értékek közötti abszolút különbségek átlaga. Könnyen érthető és értelmezhető.
• Átlagos négyzetes hiba (MSE): A négyzetes különbségek átlaga. Nagyobb mértékben bünteti a nagyobb hibákat, mint a MAE.
• Gyök átlagos négyzetes hiba (RMSE): Az MSE négyzetgyöke. Ugyanazokban a mértékegységekben van, mint az eredeti adatok, így jobban értelmezhető, mint az MSE.
• Átlagos abszolút százalékos hiba (MAPE): Az abszolút százalékos hibák átlaga. A pontosságot százalékban fejezi ki, ami hasznos lehet az üzleti jelentésekhez.

A visszatartott tesztkészlet fontossága

A szokásos gépi tanulási problémáktól eltérően nem választhatja el véletlenszerűen az idősoros adatokat a betanításhoz és a teszteléshez. Ez adatszivárgáshoz vezetne, ahol a modell a jövőbeli információkból tanul, amelyekhez nem kellene hozzáférnie. Az elválasztásnak mindig tiszteletben kell tartania az időbeli sorrendet: tanítsa a múltat, és tesztelje a legfrissebb adatokon.

Haladó témák és modern könyvtárak

Az előrejelzés automatizálása a Prophet segítségével

A Prophet a Meta Core Data Science csapata által kifejlesztett könyvtár. Úgy tervezték, hogy nagymértékben automatizált és hangolható legyen, így nagyszerű választás üzleti előrejelzési alkalmazásokhoz. A legjobban az erős szezonális hatásokkal és több szezonnyi korábbi adattal rendelkező idősorokkal működik.

A Prophet legfontosabb erősségei a következők:

• Több szezonalitás (pl. heti, éves) automatikus kezelése.
• Az ünnepek és a különleges események hatásának beépítése.
• Robusztus módon kezeli a hiányzó adatokat és a kiugró értékeket.

            
# from prophet import Prophet

# # Prophet requires the columns to be named 'ds' (datestamp) and 'y' (target)
# df_prophet = df.reset_index().rename(columns={'Date': 'ds', 'Sales': 'y'})

# model = Prophet()
# model.fit(df_prophet)

# future = model.make_future_dataframe(periods=365)
# forecast = model.predict(future)

# model.plot(forecast)

            

              
                Copy
              
            
          

Multivariáns idősoros előrejelzés

Eddig az univariáns előrejelzésről beszéltünk (egyetlen sorozat előrejelzése a saját múltja alapján). A multivariáns előrejelzés magában foglalja több időfüggő változó használatát egyetlen cél előrejelzésére. Például felhasználhatja a marketingköltést, a gazdasági mutatókat és a versenytársak árait (mindet idősorokként) az értékesítés előrejelzéséhez. Az olyan modellek, mint a VAR (Vektor Autoregresszió) és a VECM-ek, valamint a komplexebb mélytanulási architektúrák képesek kezelni ezeket a forgatókönyveket.

Következtetés: Az előrejelzés jövője Pythonnal

Az idősoros előrejelzés egy gazdag és sokszínű terület, és a Python egy teljes ökoszisztémát biztosít bármilyen előrejelzési kihívás megoldására. Eljutottunk a trendek és a szezonalitás alapvető fogalmaitól a kifinomult mélytanulási modellek megvalósításáig.

A legfontosabb tanulság az, hogy nincs egyetlen "legjobb" modell minden problémára. A választás az adatok jellemzőitől, az előrejelzési horizonttól és az Ön konkrét üzleti igényeitől függ. Egy egyszerű ARIMA modell tökéletes lehet a stabil, kiszámítható adatokhoz, míg egy összetett LSTM hálózatra lehet szükség a volatilis pénzügyi piacok árnyalatainak megragadásához.

A megbeszélt eszközök és technikák – az adatok előkészítésétől és az EDA-tól a modellezésig és az értékelésig – elsajátításával kihasználhatja a Python erejét, hogy a múltbeli adatokat stratégiai eszközzé alakítsa, lehetővé téve a megalapozottabb döntéseket és a proaktív stratégiákat a jövő számára.